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do algumas propostas mais fracas do que outras que foram "excluídas, isto 
c, que eles ainda contêm erros. Por outro lado» as decisões envolvem di- 
mensões de julgamento distintas e que merecerão pesos variados dos dife- 
rentes juízes. Não há como dirimir um conflito de preferências entre um 
projeto melhor resolvido, porém menos original e um outro mais criativo, 
mas com incorreções e asperezas. 

Essa busca de aperfeiçoamento dos sistemas de avaliação tem apre- 
sentado progressos consideráveis, obtidos por conta de melhores formatos 
organizativos e soluções mais modernas ou mais sofisticadas. Todavia, 
não é só isso. Um sistema mais tosco ou rudimentar, porém bem operado, 
pode ser mais confíável que outro mais sofisticado mas de funcionamento 
precário. Em particular, não podemos tomar o que foi visto nas seções 
anteriores sobre os formatos organizativos e concluir sobre os seus me*ritos 
relativos a partir daí. No fundo, estamos falando de formas diferentes de 
acesso a uma caixa preta que é o julgamento individual. A excelência desse 
julgamento é o que realmente conta, mais do que a sua correta administra- 
ção. 



Notas 

1 A matéria que segue apóia-se na série de trabalhos de John Irving e Ben Martin 
sobre avaliação de pesquisa. Ver Irving e Martin. 1980, 1983a, 1983b, 1983c e 
Schwartzman c outros, 1982. 

É ilustrativo registrar as dificuldades da Fiuep em relação aos seus grandes proje- 
tos, os "finepõcs", que podem determinar a vida ou a morte de departamentos 
universitários inteiros. Não é por acaso que o processo decisório nesse órgfo 
extravasa os gabinetes e comissões, entrando mesmo em um cenário político e 
de lohbies externos. 

3 Em seus últimos trabalhos, Cartter reverte um pouco essa tendência, fornecendo 
aos juízes informações sobre os cursos. 
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HL AS AVALIAÇÕES DA CAPES 



Cláudio de Moura Castro e Gláucio A. D. Soares 

A publicação, no Estado de São Paulo, em meados de 1982, da lista 
dos 56 cursos de pós-graduação que obtiveram o pior conceito (nota "E") 
na avaliação da CAPES provocou um momento de grande excitação na co- 
munidade académica brasileira, culminando num debate que ganhou consi- 
derável espaço e cores vivas na grande imprensa. 

A divulgação oficial da lista dos cursos de melhor conceito na avalia- 
ção da CAPES já havia iniciado uma polémica que extravasou os circuns- 
pectos muros da academia. Em seguida, a revista Playboy* em artigo sobre 
a qualidade do ensino, reiteradamente referiu-se a essas avaliações. Mas 
foram as entrevistas publicadas com os indignados e vociferantes responsá- 
veis pelos cursos considerados como "sem condições mínimas de funciona- 
mento", que levaram a controvérsia a seu clímax. Alguns chegaram a pen- 
sar que o sistema de avaliação, como mecanismo de sinalização para o 
apoio financeiro à pós-graduação, estaria seriamente ameaçado. 

Não obstante, tal teste perante o grande público serviu para consoli- 
dar a legitimidade do sistema junto às agências financiadoras de ciência e 
tecnologia e perante a comunidade académica mais sólida. Na verdade, 
confirmou-se a estabilidade e robustez de um ambicioso sistema de avalia- 
ção da pós-graduação brasileira. É de se notar que tais incidentes coinci- 
diram com a fase final de implementação, na CAPES, de uma série de me- 
canismos vinculando os auxílios a uma boa nota na avaliação. Mais ainda, 
foram criados dispositivos que condicionavam o auxílio aos bons cursos a 
compromissos da universidade de definir uma política realista para os seus 
cursos mais fracos. 



Os autores agradecem as críticas e sugestões de João Batista Araújo e Oliveira, 
Simon Schwartzman, Raimundo Tadeu Corrêa, Lúcia dos Guaranys e Norma 
Rancid. Cumpre, todavia, eximi-los da responsabilidade pelos possíveis erros e 
omissões ddstè trabalho. 
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O porte atua] da pós-graduação brasileira, com cerca de mil cursos, 
ao mesmo tempo em que se apresenta como um desafio, oferece possibili- 
dades de análise quantitativa inexistentes alhures. 

Desde 1977, os comités da CAPES vêm avaliando os vários cursos 
de mestrado e doutorado que operam no Brasil, atribuindo a cada um deles 
uma nota ou conceito. Paralelamente ao crescimento quantitativo da pós- 
graduação, os mecanismos de avaliação também aumentaram a sua abran- 
gência, tornando-se mais complexos e passando a cobrir um número mais 
amplo de dimensões ou critérios. Para o período 1980-1981 registrou-se 
uma enorme variedade de desempenho; 292 cursos obtiveram a nota má- 
xima ("A") e 56 a mínima ("E"). 

Por razões que ficarão claras ao longo do texto, a avaliação de cada 
curso é mantida em sigilo pela CAPES, sendo divulgada apenas ao coorde- 
nador do próprio curso e ao reitor. Contudo, exceção é feita aos cursos 
que obtêm conceito "A". A divulgação do seu nome, nesses casos consti- 
tui-se em um estímulo e reconhecimento ao seu desempenho. 

1. O Processo de Avaliação 

Nesta seção descrevemos os mecanismos utilizados pela CAPES para 
a obtenção das informações acerca dos programas ou cursos de pós-gradua- 
ção, as formas de registro dos dados e o programa de visitas aos cursos. Em 
seguida, discutimos o funcionamento do sistema, sua aderência ao julga- 
mento por pares, seus critérios, prioridades e o produto final. 



2. A obtenção dos dados objetivos 

Ao montar o seu sistema de avaliação, a CAPES buscou separar o 
processo de julgamento dos cursos da gerência da coleta de dados - a ma- 
téria-prima da avaliação. Há um deliberado esforço desse órgão em tratar 
de forma estanque dados e julgamentos. Cumpre à equipe interna a busca 
de informações sobre os cursos, sua depuração e crítica. Todavia, somente 
consultores da comunidade académica emitem juízos de valor acerca dos 
cursos. Esta divisão de trabalho vem se revelando muito saudável. Ainda 
que os consultores não se preocupem com a coleta de dados, eles não 
podem evitar a confrontação com informações que às vezes contrariam 
algumas expectativas. Por outro lado, seu conhecimento de primeira mão 
permite identificar falhas nos dados ou formas inadequadas de defini-los. 

Na última década de seus 30 anos, a CAPES conviveu com duas 
tendências marcantes. A primeira, o aumento vertiginoso do número de 
bolsas de estudo concedidas, que passam de4.043,em 1971, para cerca 
de 8 mil, em 1981, acompanhando a expansão da pós-graduação, hoje 
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com aproximadamente 40 mil alunos matriculados. A segunda, o aumento 
da proporção de bolsas para programas no país - enquanto que em 1971 
existiam 113 bolsistas no exterior e 930 no país, em 1981 encontramos 
cerca de mil bolsistas no exterior para 7 mil no país. O aumento no nu- 
mera de bolsas gerou sérios problemas para a operação dos mecanismos 
de concessão. As bolsas concedidas para estudos em programas brasileiros 
passaram a ser administradas pelos próprios programas, para os quais foi 
transferida grande parte da responsabilidade na seleção dos bolsistas. 
De fato, quem melhor conhece o perfil de exigências para os alunos que 
cursarão um determinado mestrado de física do estado sólido é o próprio 
programa que oferece esse curso. 

Assim de forma descentralizada e eficiente, a questão de selecíonar 
candidatos ficou resolvida. Mas criou-se, ipso facto, uma necessidade de 
selecionar programas e, para cada um deles, a cota de bolsas a ser distri- 
buída. Na tentativa de alocar mais bolsas aos melhores programas, está a 
origem da avaliação da CAPES: trata-se de avaliar cursos e não candidatos. 
Adiante discutiremos aspectos mais substantivos desta decisão. Contudo, 
vale mencionar que as vantagens administrativas desse procedimento são 
enormes. Sete mil bolsas de mestrado podem ser geridas por apenas três ou 
quatro pessoas, e a gerência do mecanismo de avaliação tampouco é com- 
plexa, ocupando dois ou três funcionários (além de quatro ou cinco envol- 
vidos na construção do arquivo de informações). Em contraste, para admi- 
nistrar algo acima de mil bolsas no exterior são necessários cerca de vinte 
funcionários. 

Mas é claro que a economia não pode ser o único critério. Verificar 
se os bons cursos estão sendo corretamente identificados é um dos objeti- 
vos centrais do presente ensaio. 

A decisão de coletar dados primários sobre a pós-graduação deveu-se 
à inexistência de quaisquer dados sistemáticos comparáveis e disponíveis. 
O instrumento utilizado, o chamado Relatório da Pós-Graduação, vem 
sendo distribuído anualmente a todos os cursos desde 1977. Hoje, são 
1.021 cursos de mestrado e doutorado que respondem a esses formulários, 
isto é, praticamente todos. Aqueles que acompanham a transformação do 
processo avaliativo da CAPES atestam que- os formulários captam cada 
vez mais aquelas dimensões consideradas críticas no processo de apreciar 
a maturidade e a excelência de um curso de pós-graduação. 

A qualidade das respostas é variável. Respostas em branco, com- 
preensão incorreta do que estava sendo pedido, enganos, falta de infor- 
mações no próprio curso e, finalmente, dolo e má fé são, por ordem de fre- 
quência decrescente, alguns dos problemas encontrados. Treinamento de 
pessoal para preenchimento dos formulários, exortações e a sofisticação 
dos instrumentos de coleta têm tido algum êxito. Não obstante, é a cres- 
cente percepção das consequências administratívo-acadêmieas da avaliação 
que nos últimos anos tem levado a uma enorme melhoria das respostas. 
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Recentemente, o formulário foi substituído por uma saída de com- 
putador individualizada por curso, onde são deixados espaços para o pre- 
enchimento de informações, bem como para a atualizaçfo de dados que 
não mudam muito de ano para ano (relação de professores, disciplinas etc.)'.' 
Uma vez transcritos para o computador, os dados são devolvidos ao curso 
em formato diferente de apresentação, para que sejam conferidos e sua 
correção atestada pelo responsável do curso. 

Esses procedimentos, que melhoram a qualidade da informação e\ 
reduzem as exigências de trabalho dos programas, só passaram a ser pos- 
síveis nos últimos dois anos, quando os arquivos de dados foram compu- 
tadorizados. Note-se que não há "avaliação por computador", apenas o 
arquivamento dos dados e uma apresentação mais apropriada para o exame 
por parte dos consultores. 

A carga de trabalho gerada pelos inúmeros cursos, combinada à falta 
de familiaridade dos consultores com a forma de apresentação dos dados 
- a alta rotatividade dos consultores é característica essencial do siste- 
ma - torna muito importante a apresentação correta e visualmente apro- 
priada das informações. Muitos consultores, premidos pelo tempo, po- 
dem, por exemplo, impressionar-se com o elevado número de professores 
de um curso, já que não tiveram oportunidade de verificar que muitos são 
meramente horistas ou apenas professores convidados para um par de 
conferências. Uma vasta lista de publicações pode, às vezes, incluir muitos 
títulos publicados em periódicos que não poderiam ser considerados veícu- 
los de disseminação científica. O processamento eletrônico dos dados, to- 
davia, vai permitir tanto listar separadamente aqueles professores que dedi- 
cam grande parte do seu tempo ao curso, quanto relacionar apenas as pu- 
blicações académicas. Vai possibilitar também a construção de quadros e 
tabelas que permitam comparar visualmente, diferentes cursos da mesma 
área. Fica igualmente registrada a ubiquidade de alguns professores que 
possuem "tempo integral" em várias universidades. 

Um progresso importante nos últimos anos foi a unificação dos ins- 
trumentos de coleta, hoje abrangendo a CAPES, o CNPq, o CFE e a Finep, 
o que reduziu consideravelmente o trabalho de prestar informação, ao mes- 
mo tempo em que permitiu concentrar esforços na qualidade da informa- 
ção gerada. Houve também uma forte preocupação em criar uma memória 
da pós-graduação, um único local para onde convergissem todas as infor- 
mações disponíveis quanto à atuação dos programas. Esses procedimentos 
diminuíram consideravelmente a margem de erro. 



3. O ciclo de visitas 

A direção da CAPES verificou que a informação trazida pelos consul- 
tores era, com frequência, insuficiente para complementar os dados do re- 
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latório; O conhecimento de primeira mão dos programas não pode ser 
substituído por informações obtidas mediante um relatório. Era impor- 
tante estabelecer contatos pessoais. 

A partir de 1980, a CAPES iniciou um ciclo bienal de visitas de con- 
sultores aos cursos. Apesar do esforço, não foi possível realizar em 1981 
mais do que duzentas visitas, o que sugere que o ciclo deve ser trienal. As 
primeiras visitas dirigiram-se para fora dos grandes centros, sobretudo aos 
cursos novos, que tendem a ser menos conhecidos. De fato, tais visitas 
mostraram haver um considerável desconhecimento quanto ao trabalho 
promissor realizado por alguns programas de criação mais recente. 



4. O julgamento por pares: a montagem de um sistema 

Desde o início da avaliação, em 1977, os pares têm sido a única 
fonte dos julgamentos. Ê procedente comparar o sistema da CAPES com a 
tradição americana de avaliações, que se baseia na reputação dos progra- 
mas, partindo da hipótese de que os juízes dominam toda a informação de 
que necessitam para julgar. Todavia, o sistema de CAPES distancia-se cada 
vez mais desse modelo. Ainda não houve tempo para que se desenvolves- 
sem reputações que reflitam, de forma fidedigna, as realizações dos pro- 
gramas da nossa jovem pós-graduação. Os próprios avaliadores relatam, ao 
manusear os relatórios, seu desconhecimento do que muitos cursos vêm fa- 
zendo. Daí a decisão da CAPES de organizar um arquivo de dados objeti- 
vos, cuja utilização é cada vez mais intensa nos julgamentos. A disponibili- 
dade de uma base factual confiável e bem apresentada reduz o chamado 
"efeito de halo", que leva à permanência de imagens iniciais ou do pas- 
sado. 

A seleção e gerência de uma carteira de consultores apresentam pro- 
blemas. Por um processo de tentativa e erro, a CAPES chegou ao perfil do 
consultor procurado: deverá ser um cientista destacado em sua área, tal 
como atestado pelo seu curriculum vitae e com razoável vivência com o en- 
sino. Os lobos solitários da pesquisa parecem revelar-se ingénuos e pouco 
à vontade nesse trabalho. Ademais, o gostó-por esse tipo de atividade reve- 
la-se absolutamente essencial, como demonstram muitas tentativas frustra- 
das de se trabalhar oom excelentes pesquisadores que, como avaliadores, 
são desinteressados e incapazes de concentrai-se por algumas dezenas de 
horas nesse tipo de trabalho. 

Busca-se uma certa dimensão de variedade na escolha dos consulto- 
res, seja em termos de orientação teórica, seja em termos de sua origem 
geográfica. Contudo, a experiência demonstra a importância de que o con- 
sultor represente apenas a sua própria consciência crítica e não grupos, re- 
giões ou associações. O consultor não é chamado para defender o interesse 
da comunidade académica, da sua universidade ou de sua própria profissão, 
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mas para expressar, sem censura, suas convicções de cientista e cidadão 
bem informado. 

Cada área do conhecimento tem uma lista de consultores e um pre- 
sidente de comissão, com mandato de dois anos. Conselho da CAPES 
escolhe o presidente da comissão dentre várias alternativas sugeridas pelos 
consultores presentes na reunião em que expira o mandato do anterior. A 
partir da lista total de consultores - que é elástica e vai aumentando por 
sugestão de seus próprios membros - são escolhidos os participantes das 
reuniões anuais, prevendo-se que, em cada ano, apenas 50% dos nomes 
do ano anterior sejam repetidos. Esse limite de dois anos impede o enquis- 
tamento e a organização de mecanismos de pressão sobre os consultores. 
Por outro lado, toda uma técnica de trabalho e uma tradição são prejudi- 
cadas pela estreiteza do período. Frequentemente os consultores se quei- 
xam de que justo quando aprendiam a trabalhar, chegam ao fim do perío- 
do na comissão. 

Ao estabelecer períodos tão curtos, a CAPES teve que assumir o pa- 
pel de manter a memória do processo. Não há, a priori, uma quebra na 
neutralidade de sua intervenção quando se. trata de explicar, a cada ano, o 
funcionamento administrativo do sistema aos consultores; todavia, há uma 
área limítrofe de intervenção no estabelecimento dos critérios de avaliação. 
A equipe técnica da CAPES transmite a cada grupo de consultores, os cri- 
térios e as prioridades que vinham sendo utilizados nos períodos anterio- 
res. Transmite também comentários, críticas e sugestões oferecidas ou 
acumuladas ao longo de um ano de diálogo com os programas de pós-gra- 
duação. Indo mais longe, sugere mudanças de critérios, a partir de suas per- 
cepções acerca da evolução da pós-graduação. Assim, a partir de 1979, a 
direção da CAPES passou a se preocupar com o excesso de cursos e sua fra- 
gilidade, sugerindo aos consultores que enfatizassem a excelência aos cur- 
sos, mais do que o número de alunos titulados. Em outras palavras, não há 
qualquer interferência na identificação de quem é melhor; contudo, há um 
certo grau de interação entre a CAPES e os consultores na definição das 
dimensões onde buscar excelência e do peso a ser dado a essas dimensões. 
Como exemplo, citaríamos a avaliação de 1981, em que a CAPES insistiu 
com os consultores das áreas aplicadas para que dessem maior atenção e 
maior peso a protótipos, patentes, novas técnicas etc. Anteriormente, 
muitas críticas já haviam sido feitas à ênfase exclusiva em publicações, 
que prejudicava os cursos orientados para realizações práticas. 

Se, de um lado, os consultores têm total liberdade para escolher, 
interpretar e ponderar os critérios como queiram, de outro, há uma certa 
estabilidade dos critérios, que são mantidos por tradição oral. Não obs- 
tante, algumas mudanças podem ser notadas. Por exemplo, hoje há maior 
preocupação em diferenciar o tratamento das áreas, em contraste com 
uma avaliação mais homogénea anteriormente adotada. Os critérios quanti- 
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tativos, como o número de titulados, são hoje menos importantes do que a 
qualidade do aluno e da pesquisa. 

A avaliação se materializa em conceitos "A", "B", "C", "D" e "E", 
atribuídos a cada curso. A comissão indica, também, os critérios utilizados 
no seu julgamento e, em cada caso, comenta sobre cada uma das variáveis 
que utilizou ao considerar o curso. São também apresentadas sugestões e 
recomendações para o curso. Em suma, o resultado da avaliação se con- 
substancia em um conjunto de conceitos e laudos comentando o desem- 
penho de cada programa de pós-graduação. 



5. Os Usos da Avaliação 

Não há ambiguidades ou dúvidas quanto ao apoio a um curso que re- 
cebe conceito "A" ou mesmo "B". Já em relação aos que obtêm "C", "D" 
ou "E", o tratamento que devem receber de uma agência governamental 
tem, naturalmente, a ver com as razões que levaram a esse julgamento. No 
início, universidades de áreas pouco desenvolvidas fizeram forte pressão 
por um tratamento mais generoso para os seus cursos. Naquele mesmo, a 
CAPES definiu sua política através de uma metáfora ainda usada hoje: 
"O termómetro ê o mesmo para todos os pacientes, o diagnóstico e a tera- 
pia podem variar de acordo com o caso". Fica assim entendido que os cri- 
térios de avaliação nada têm a ver com a história do curso, com seus esfor- 
ços ou com as dificuldades que encontram. O tratamento diferenciado, que 
pode se justificar em muitos casos, não deve contaminar a atribuição do 
conceito. O extraordinário esforço de um grupo do Nordeste pode ser 
apoiado, mas, ao ser julgado em termos de seus resultados, este grupo 
será comparado com todos os demais, recebendo um conceito que mera- 
mente reflita as suas realizações. 

O uso mais imediato da avaliação é exatamente aquele que motivou a 
sua criação; a distribuição de bolsas. &o caso das bolsas de "demanda so- 
cial" 1 , as quotas atribuídas a cada área do conhecimento são alocadas pe- 
los cursos existentes de forma proporcional ao conceito. Assim, em 1981, 
os cursos de nível "A" receberam 52% do total das bolsas; os de nível "B", 
uma quota bem menor (29%); alguns cursos "C" receberam uma quota re- 
sidual ou simbólica; os demais não receberam nenhuma bolsa. O Programa 
Integrado de Capitação de Docentes (PICD), fiel à sua intenção de desen- 
volvimento institucional, distribui bolsas às instituições, para que estas 
seiecionem, dentre os seus melhores professores, os bolsistas queWo 
mestrado e doutorado no país. 2 A seleção desses mestrados se faz a partir 
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de uma lista que contém apenas os melhores cursos qualificados no processo 
de avaliação, O chamado "listão CAPES" contém os cursos "A" e, em 
áreas em que o número destes cursos é insuficiente, alguns de nível "B". 
A partir de 1981, o credenciamento de cursos de pós-graduação pelo 
Conselho Federal de Educação passou a se utilizar das avaliações realizadas 
pela CAPES, não apenas a última avaliação disponível no momento em que 
o credenciamento é pedido, mas também das dos anos anteriores, mos- 
trando a trajetória do curso ao longo do tempo. Ao aumentar a abrangên- 
cia temporal em que o curso é considerado, ao expandir o número de 
pessoas que visitam e opinam sobre o curso, reduzíram-se de forma consi- 
derável as incertezas, erros e arbitrariedades do processo de credencia- 
mento. Ademais, como resultado de discussões entre a CAPES e o CFE, 
os métodos de cole ta de informações foram simplificados e os procedi- 
mentos de visita e avaliação aperfeiçoados. Ao dar um parecer sobre o 
curso, o conselheiro do CFE está hoje muito melhor informado e respal- 
dado. 

Também a partir de 1981, a discussão orçamentária das universida- 
des federais passou a incorporar considerações acerca do nível de qualidade 
da pós-graduação. Universidades com cursos de melhor nível receberam 
um tratamento privilegiado na distribuição de recursos adicionais e em 
projetos. Foi uma primeira experiência e seria prematuro julgá-la de mo- 
mento. 

Recentemente, as avaliações da CAPES adquiriram uma utilização 
curiosa. Como vinha se revelando difícil para os estudantes brasileiros na 
Alemanha obterem a equivalência dos seus mestrados ao "Diploma" ale- 
mão, a fim de se matricularem diretamente no doutorado, o Ministério da 
Educação desse país decidiu que os graduados de cursos que haviam obtido 
bom conceito na avaliação da CAPES receberiam a equivalência desejada. 

Finalmente, há um uso que se torna cada vez mais importante e que 
tem muito a ver^com o processo de legitimação da avaliação perante a co- 
munidade académica. Trata-se de levar ao conhecimento do curso, aos.rei- 
tores e pró-reitores os resultados da avaliação, bem como as sugestões fei- 
tas pelos consultores. Esta é uma pródiga fonte de atritos, tensões e terre- 
motos administrativos. Alguns cursos não aceitam os ásperos julgamentos 
passados a seu respeito; outros consideram improcedentes as avaliações. 
Pode mesmo haver uma revisão da avaliação. Em um número pequeno de 
casos houve, realmente, equívocos ou ambiguidades no julgamento. Mas a 
baixa proporção de erros identificados por estas revisões aumenta a con- 
fiança imputada aos conceitos. Como faz pouco tempo que os laudos de 
avaliação começaram a ser enviados aos cursos, seria leviano julgar suas 
consequências tão apressadamente. Mas sabemos que em um grande nú- 
mero de casos eles causaram um certo impacto e, em alguns deles, modifi- 
cações tangíveis. Esta dimensão da avaliação pode vir a ser a mais impor- 
tante, com significativas consequências para o aperfeiçoamento do sistema. 
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6. O comportamento dos consultores: um modelo de simulação 

Até aqui, simplesmente descrevemos o sistema de avaliação. No que 
segue, tentamos aplicar alguns procedimentos estatísticos com o objetivo 
de melhor entendê-lo e testar suas propriedades. 

Seja do ponto de vista de quem gerência o sistema, seja do ponto de 
vista de quem é avaliado, o comportamento dos consultores é uma "caixa 
preta". Estes recebem instruções para identificar a excelência académica 
. onde quer que esta se encontre e para dizer o que vem a ser, em cada caso, 
esta excelência. Seu julgamento é final; salvo casos raros, não é objeto de 
reanálise ou contestação. 

O aprofundamento de episódios individuais, como o reexame de uma 
avaliação contestada, por exemplo, vem confirmar a impressão, daqueles 
que lidam com a avaliação, de que o sistema faz sentido, isto é, de que os 
conceitos correspondem à reputação dos cursos. Mas isto ainda è pouco. 

Nesta seção, apresentamos uma tentativa de simular ou reproduzir 
o comportamento dos consultores através de um modelo estatístico. Per- 
guntamos se há regularidades observáveis no seu comportamento, se esse 
comportamento pode ser descrito por um sistema de equações e se ele 
está de acordo com as prioridades declaradas. Finalmente, até que ponto 
ele incorpora as variáveis quantificáveis? 

Note o leitor menos familiarizado com métodos estatísticos que, 
embora alguns termos e passagens possam parecer excessivamente técni- 
cos, suas implicações e conclusões estão formuladas em linguagem de ime- 
diata compreensão. 

Não se trata, em absoluto, de um modelo estatístico de avaliação, 
onde é definido um algoritmo que atribui notas ou conceitos a um curso. 
Pelo contrário, trata-se de uma tentativa de modelar o comportamento dos 
consultores, isto é, de reconstruir matematicamente as suas formas de jul- 
gamento. Os usos de tal modelo se restringem ao que aqui fazemos, que é 
buscar entender como operam os consultores. 

Tal advertência é particularmente importante porque entendemos 
que a avaliação não pode se reduzir a uma função mecânica, passível de ser 
substituída por um modelo matemático. Não apenas cada curso deverá ser 
julgado em sua individualidade e com suas idiossincrasias, mas também esse 
julgamento deverá incluir componentes que não podem ser bem quantifica- 
dos, tais como a qualidade da pesquisa, a atmosfera, o entusiasmo etc. 

O modelo utilizado é bastante simples, o que se justifica, antes de 
tudo, pela inexistência de modelos melhor especificados. Tomamos como 
variável dependente os conceitos de "A" e "E", transformados em núme- 
ros de 5 a 1. As variações nesses conceitos deverão ser explicadas por varia- 
ções de conceitos quantificáveis contidos no relatório dos cursos. 

A configuração estatística mais óbvia para o modelo é uma equação 
de regressão linear múltipla por passos (stepwise). Nesta formulação, varia- 
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ções da variável dependente (as avaliações) são associadas linearmente às* 
variáveis explicativas dos dados objetivos, buscando-se, era cada passo, 
aquela que melhor ajustamento oferece. A introdução de novas variáveis 
no modelo é interrompida no momento em que a contribuição de qualquer 
variável adicional deixa de ser significativa. Esse procedimento é explora- 
tório e não um teste de hipóteses: não existe qualquer pressuposição 
quanto à natureza ou à configuração das variáveis, isto é, não há um mo- 
delo a priori sendo testado. 

Por ocasião de uma reunião de consultores, foi-lhes pedido listar, por 
ordem decrescente de importância, aqueles critérios que consideravam 
mais importantes ao avaliar um curso. Cada área do conhecimento produ- 
ziu então sua própria lista, contendo, em geral, cerca de cinco critérios. Em 
seguida houve uma tentativa dé1;onsolidar estas diferentes listas, buscando- 
se denominadores comuns de critérios de avaliação. A comparação desses 
critérios com aqueles produzidos implicitamente pelos coeficientes de re- 
gressão permite testar a consistência entre o comportamento declarado e o 
comportamento efetivamente manifesto na avaliação - questão de grande 
importância para a legitimidade da avaliação. 

As variáveis podem ser classificadas, para efeito dessa análise, em três 
grandes grupos, onde cada grupo representa uma dimensão de característi- 
cas dos cursos de pós*graduação. Desta forma, as variáveis- do grupo 1 re- 
presentam as características do "sistema de processamento de alunos", as 
do grupo 2, as características do "corpo docente do curso" e as do grupo 3; \. 
as características da "produção científica do curso". Assim, fazem parte 
do grupo 1 variáveis tais como o número de candidatos, o número de alu- 
nos novos, o número de alunos cursando disciplina, o número de alunos 
elaborando tese, o número de bolsas de estudo etc. Do grupo 2 participam 
as seguintes variáveis: total de professores do curso, total de professores - 
que possuem doutorado, total de professores que possuem mestrado, nú- 
mero de doutores em tempo integral, número de doutores que orientaram 
tese etc . . . Finalmente, fazem parte do grupo 3 variáveis tais como o nú- 
mero de livros publicados no país e no exterior, o número de artigos publi- 
cados em periódicos nacionais e internacionais, o número de comunicações 
em congressos no país e no exterior etc. 

A partir de uma listagem inicial de 87 indicadores, foram então sele- 
cionadas, por diversos critérios, nove variáveis para o modelo de regressão: 

- o número de candidatos; 

— o número de alunos novos; 

— o total de bolsas de estudo do curso; 

- o índice de concentração de professores na área de conhecimento; 

- o número de doutores que orientam teses; 

— o número de publicações em periódicos internacionais; 

— o número de publicações em periódicos nacionais; 

- o número de comunicações em congressos no país; 
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- o número de comunicações em congressos no exterior. 

Foram também ajustados modelos para três tipos de*séries estatísti- 
cas. Inicialmente, com o objetivo de maximizar o tamanho da amostra, 
reuniu-se as seis áreas de conhecimento analisadas - física, geociêneias, 
bioquímica, sociologia, psicologia e engenharia elétrica - em um único 
grupo, agregando-se, ao mesmo tempo, as avaliações de dois anos. Em se- 
guida, ajustou-se a equação para o período de um ano e, finalmente, foram 
feitos ajustamentos individuais por área de conhecimento. 

Esta última é a configuração mais correia do ponto de vista teórico, 
dada a impossibilidade de se comparar as condições de trabalho e os con- 
ceitos emitidos entre áreas diferentes. Todavia, ela apresenta certos proble- 
mas práticos, resultantes do número de cursos, frequentemente inferior a 
dez. 

Na primeira regressão, tomando todos os dados de forma agregada, 
o R 2 ou coeficiente de determinação - que expressa a proporção da va- 
riância da variável critério, explicada pelas variáveis incluídas na equação 
- chegou próximo a 0,50. Em estudos dessa natureza esse pode ser consi- 
derado um coeficiente bastante alto. 

Contudo, uma inspeção inicial da equação revelou um coeficiente de 
correlação parcial acima de 0,8 para a variável "total de bolsas". Na verda- 
de, porém, sabemos que esta não passa de uma variável tautológica, já que 
o número de bolsas é distribuído em função da avaliação. Assim, eliminada 
essa variável e repetida a equação, o coeficiente de determinação caiu para 
0,35. Repetindo os ajustamentos de forma separada de ano a ano, não fo- 
ram encontradas diferenças consideráveis, o que mostra não ser o número 
de observações de um só ano insuficiente e, igualmente, não haver modifi- 
cações consideráveis nos critérios e formas de avaliação entre dois perío- 
dos. Ou seja, as relações são razoavelmente estáveis! 

Seja como for, temos um conjunto de equações com considerável po- 
der de explicação. Note-se que o modelo não é testado em condições favo- 
ráveis, devido à heterogeneidade das áreas reunidas, aos diferentes critérios 
usados nas respectivas áreas e à incomparabilidade métrica dos conceitos 
utilizados. Sabemos que um "A" em física não é a mesma coisa que um 
"A" em psicologia, embora a equação o trate como se assim o fosse. 

As equações por áreas de conhecimento revelaram coeficientes de 
determinação muito mais elevados, próximos de 0,8. No entanto, a.grande 
variabilidade e o pequeno tamanho da amostra tornam pouco confiáveis as 
conclusões tiradas de sua análise individual. 

A partir desses exercícios estatísticos pode-se estabelecer um bom 
número de inferências cabíveis. Deixaremos para a próxima seção a análise 
das variáveis que se revelaram mais fortes. Interessa-nos, aqui, captar o mo- 
delo em sua dimensão agregada. Em que pesem as deficiências técnicas do 
exercício, algumas conclusões se impõem. Em primeiro lugar, é possível 
modelar o comportamento dos consultores, que se apresenta de forma sufi- 
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cientemente regular e previsível. As equações agregando áreas explicam 
algo mais que um terço da variância. Aquelas que as tratam em separado 
podem explicar muito mais. 

Em segundo lugar, podemos concluir que mesmo nos casos mais fa- 
voráveis, há um resíduo considerável de variância não explicada pelas va- 
riáveis quantitativas. Isto significa que um modelo estatístico não poderá 
substituir o trabalho dos consultores - os resultados não seriam equivalen- 
tes. Este resíduo pode ser tanto um erro de julgamento dos consultores 
como o resultado de variáveis não incluídas na equação (atmosfera de tra- 
balho, motivação diferencial» qualidade dos trabalhos publicados etc). 
Não é possível, nesse estágio, decidir qual das explicações é correia. Mas 
parece mais apropriado tomar o resíduo como sendo gerado por influên- 
cia de variáveis não incluídas no modelo. 

Finalmente, quando confrontamos as variáveis privilegiadas pelo 
modelo - aquelas que aparecem em primeiro lugar na equação de regres- 
são - com as prioridades declaradas pelos consultores, vemos que eles, 
de fato, julgam os cursos prioritariamente pelas dimensões que haviam pri- 
vilegiado em sua lista. Em outras palavras, os critérios manifestos e os cri- 
térios efetivamente utilizados são coincidentes. 



7. A pós-graduação vista pelas avaliações: O perfil da excelência 

Os modelos anteriormente mencionados e o exercício de análise fa- 
torial realizado subsequentemente, permitem uma análise bastante útil da 
pós-graduação e seus problemas, bem como uma discussão sobre os limites 
e as controvérsias da avaliação. No que segue, aprofundamos a análise apre- 
sentada, entrando mais na discussão daqueles fatores associados à excelên- 
cia, tal como capitada pelos avaliadores. 

O grau de excelência imputado a um curso, qualquer que seja o mo- 
mento ou área de conhecimento, tem a ver com alguns critérios estáveis: 
a competência profissional dos docentes, evidenciada por sua titulação ou 
qualificações equivalentes; a dedicação efetiva dos professores ao curso, so- 
bretudo aqueles que atuam no próprio núcleo disciplinar do programa (em 
oposição àqueles de áreas instrumentais ou domínios conexos) e a produ- 
ção cientifica do curso (a qualidade, o volume e a regularidade dos artigos, 
livros, relatórios de pesquisa e comunicações em anais de congressos). 

Dentro deste marco de referência geral emergem as idiossincrasias 
das áreas. Em algumas, as publicações nacionais são privilegiadas; em ou- 
tras, as internacionais. O ritmo de produção, avaliado pelo número de arti- 
gos, é também extremamente variado, contrastando-se, por exemplo, a ma- 
temática com a botânica. 

A existência de variáveis de forte influência em qualquer das áreas 
de conhecimento indica claramente que a excelência não se faz com ingre- 
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dientes tão distintos de uma área para outra, embora haja alguns temperos 
próprios definindo o sabor de cada uma delas. 

É de se notar que embora os indicadores quantitativos utilizados 
captem diferentes dimensões da qualidade, eles se apresentam associa- 
dos entre si. Por exemplo, cursos com mais doutores em tempo integral 
publicam mais. Bons resultados em um indicador aumentam a probabili- 
dade de que se observem resultados favoráveis em outros. 

A pós-graduação produz pesquisas e pessoas capazes de realizá-las. 
A pesquisa, na verdade, termina sendo o indicador mais tangível do resul- 
tado do curso, já que as teses e pesquisas produzidas no programa podem 
ser contadas e tabuladas. Estas são, em princípio, medidas puramente 
quantitativas da produção - e não haverá pejo em admiti-lo. Não obstante, 
há certos controles de qualidades implícitos nessas medidas. Os periódicos 
científicos mais sérios e exigentes, bem como as boas editoras comerciais, 
têm comités editoriais muito severos, o que garante, geralmente, um nível 
superior de qualidade das publicações. Esse controle é observado também 
em bons congressos e seminários, que examinam as contribuições enviadas 
antes de aceitá-las. Assim, com algum cuidado na classificação da entidade 
que publica, é possível estabelecer limiares de qualidade cuja importância 
não é desprezível. Nossos resultados estatísticos confirmam o enorme peso 
que a produção de teses e pesquisas têm tido sobre a avaliação efetuada pe- 
los consultores. 

Ao contrário do que pensam alguns críticos, aquelas variáveis que 
buscam capturar características do processo de ensino não tiveram maior 
poder explicativo. Estatísticas de funcionamento do curso, tais como as re- 
lações entre alunos e professores e as cargas de aula, têm, na verdade, 
pouco poder explicativo. Analogamente ao que tem sido observado para as 
escolas de 19 e 2? graus, não há associação estatisticamente forte entre a 
qualidade do produto e uma enorme variedade de medidas desse tipo. Não 
obstante, há uma exceção: o regime de trabalho dos professores de mais 
alta qualificação. Emergem como melhores programas aqueles cujos mais 
destacados professores trabalham em regime de tempo integral. 

Cumpre mencionar a ausência, nos exercícios realizados, de algumas 
variáveis perfeitamente quantificáveis. A experiência norte-americana re- 
vela, por exemplo, forte associação entre a reputação dos cursos e o acervo 
das bibliotecas especializadas que os servem. Eventualmente, esta informa- 
ção poderia ser coletada para o caso brasileiro. 

Finalmente, há uma variável de maior importância, que é o destino 
profissional dos graduados. Obtêm bons empregos? São férteis produtores 
de ciência? Progridem na carreira? 

O porte ou tamanho do curso foi examinado de duas maneiras. Atra- 
vés da análise fatoriá verificou-se que o número de alunos e a produção 
discente tiveram forte impacto sobre as avaliações realizadas até 1977. 
Isto é, receber muitos alunos e graduar também muitos era considerado 
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uma das medidas de excelência. A partir de 1977, porém, o poder explica- 
tivo deste conjunto de variáveis caiu muito, passando a ser pouco significa- 
tivo. Isto reflete claramente uma preocupação cada vez maior com a quali- 
dade e uma nTenor atenção à capacidade dos cursos de receber e titular alu- 
nos. Mais uma vez, fica aqui destruído de forma definitiva um mito da ava- 
liação que sobrevivia na cabeça de alguns. 

Existe, por outro lado, uma outra dimensão do tamanho, tal como a 
indiretamente captada pelas matrizes de correlação. Todas as variáveis de 
produtividade científica foram definidas também em termos per capita. 
Curiosamente, as variáveis per capita revelaram-se sempre fraquíssimas, em 
confronto com as suas contrapartidas definidas em termos absolutos.Em 
outras palavras, um curso é bom pelo volume de publicações e não pela 
produtividade de cada um dos pesquisadores (média anual de 0,4 artigos 
por docente). A média da competência dos professores pesa muito menos 
do que a probabilidade de se encontrar no curso vários professores compe- 
tentes. Se o tamanho não está sendo valorizado, como demonstra o pará- 
grafo anterior, tampouco as versões compactas recebem maior aplauso. 

Mediante a análise fatorial foi possível identificar uma aparente dis- 
função na forma com que é distribuída a produção científica. A principal 
discriminação não é entre programas participantes e programas inatívos, 
tomando como fator geral a participação na produção, mas entre os pro- 
gramas cujos membros participam de congressos, cursos etc. e aqueles que 
produzem livros e artigos. Como interpretar essa dissociação? Estaria apa- 
recendo uma nova forma de produção docente: a participação em congres- 
sos e similares, que não conduz a um aumento da produção de artigos e 
livros? Seria esta forma um fim em si ou, como é mais provável, um estágio 
preparatório para um período subsequente de produção mais sólida? Infe- 
lizmente, ainda foi possível, pela análise dos dados ásponíveis, decidir-se 
por qualquer interpretação. É necessário esperar para ver. 

Particularmente para os que estão acostumados com modalidades 
tradicionais, é difícil aceitar a legitimidade desta forma de profução do- 
cente. É bem verdade que a participação em congressos, seminários e cur- 
sos, além de expor os participantes a novas ideias, permite a produção de 
trabalhos curtos — típicos das comunicações em congressos - que, seja 
pelo seu conteúdo, seja pelo fôlego limitado do autor, não encontrariam 
outras formas de publicação. No entanto, à medida que estas publica- 
ções ligeiras competem com as outras mais tradicionais, elas tornam-se con- 
traproducentes. Nesse sentido, parece que houve um excesso de recursos 
para seminários, encontros, ttc. e uma escassez de tempo e recursos huma- 
nos para prepará-los adequadamente. Isto aumentou a velocidade das de- 
mandas sobre um universo ainda relativamente pequeno de pesquisadores 
que foram levados, de um menor número de publicações de maior fôlego e' 
qualidade, a um maior número de comunicações de menor fôlego e pior 
qualidade. A necessidade de preparar outra pequena comunicação para o 

186 



congresso seguinte impediria o aprimoramento das anteriores. A pubUca- 
. ção dos anais e atas do congresso anterior seria um desestímulo a que essas 
comunicações se transformassem em obras de mais fôlego. A questão 
preocupa. 

E de se notar que as variáveis que tratam da produção de livros e ar- 
tigos nacionais aparecem juntas, como um fator, enquanto que as variáveis 
da produção de livros e artigos internacionais se agrupam em um outro fa- 
tor, distinto do primeiro. 

Ao que parece, o fator "publicações internacionais" reflete simples- 
mente o fato de que, em algumas disciplinas, como as ciências físicas e bio- 
lógicas, é tradição publicar fora do país, ao passo que em outras - as ciên- 
cias sociais, por exemplo - é tradição publicar dentro do país. A distinção 
entre os fatores seria, portanto, explicável: algumas áreas estão voltadas 
para um público brasileiro e outras para um público externo. Possivelmen- 
te pela pouca frequência com que são publicados, a produção de livros, 
tanto a nível internacional como nacional, tem fraca correlação com a pro- 
dução de artigos. Ademais, a produção de livros-texto não está necessaria- 
mente associada à criatividade científica e o atual processo de coleta de 
dados não permite estabelecer esta diferenciação. 

A análise fatorial captou um fator de "docência" e um outro de "en- 
dogenia". Há um perfil de mestrados académicos recrutando preferencial- 
mente docentes, em contraste com os mestrados profissionais, voltados 
para um mercado de trabalho extra-acadêmico. Há também um perfil de 
mestrados que -recrutam uma percentagem relativamente alta de alunos 
entre os docentes da própria instituição. Na verdade, suspeita-se que vários 
programas de pós-graduação tenham sido criados em consequência de , 
pressões do seu próprio corpo docente no sentido de obter títulos de pós- 
graduação. Observa-se, assim, uma forte associação entre este fator de en- 
dogenia e o fator "docência". Como seria de esperar, a endogenia não con- 
tribuiu para a qualidade dos cursos, apresentando uma correção pequena 
- mas negativa - com o fator avaliação (-0,14 com endogenia e -0.007 
com docência). A análise das regressões com avaliações individuais ano 
a ano, de 1977 a 1980, indica que esses dois fatores foram influências ne- 
gativas mas de pequena importância tia avaliação da qualidade dos cursos. 

O desvio padrão das notas transformadas em números de 1 a 5 é uma 
medida de variação úp qualidade percebida: quanto mais baixo, menor a 
variação das qualificações conferidas aos cursos avaliados. A partir de 1977 
observou-se uma diminuição considerável e sistemática do desvio padrão 
entre as avaliações. Em 1977 o desvio padrão foi de 1.95, baixando a cada 
ano (1.91 em 1978, 1.82 em 1979) até chegar a 1.52, em 1980. Também 
durante esse período, a média das avaliações cresceu de forma sistemática: 
de 2.47, em 1977 até 3.33, em 1980. 

Há muitas explicações para esses fenómenos. Uma primeira interpre- 
tação aponta, uma elevação do teto inferior de qualidade dos cursos pós- 
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graduados, devido às exigências e pressões de órgãos como o CFE, a 
CAPES etc. Os piores cursos tenderiam, assim, a elevar o seu nível - foram 
relativamente poucos os cursos que fecharam — reduzindo-se o desnível 
por baixo. Outro modelo explicativo aponta uma queda do nível de quali- 
dade dos melhores cursos, que tenderiam todos à média. Esta interpreta- 
ção. contudo, é negada pela elevação das médias das avaliações. Já outros 
crêem que esses fenómenos sá"o resultantes de um "achatamento" das 
avaliações, devido, principalmente, à elevação das qualificações dadas aos 
cursos piores e médios (e não â redução das qualificações dadas aos cursos 
altos). Esta última interpretação é consistente tanto com a elevação das 
avaliações médias quanto com a diminuição dos desvios padrão. 

Poder-se-ia explicar parte da concordância observada nas avaliações 
de ano a ano pelo fato de o mandato dos presidentes das comissões de 
consultores ser de dois anos. Esses presidentes influenciariam tanto a sele- 
ção dos demais avaliadores quanto o andamento dos trabalhos e tenderiam 
a dar a mesma avaliação ao mesmo curso em dois anos consecutivos. 
Tal tendência seria parcialmente contrabalançada pela renovação, a cada 
ano, de parte dos avaliadores. Computando as correlações consecutivas 
(1977 com 1978, 1978 com 1979 e 1979 com 1980), vemos que a média 
das correlações é + 64, ao passo que a das correlações entre anos não con- 
secutivos é de + 54. Isso nos revela que os consultores parecem tender a re- 
petir o conceito dado no ano anterior. Porém, essa tendência não é funda- 
mentalmente maior do que a consistência encontrada entre avaliações se- 
paradas por dois anos ou mais. Para defender essa interpretação, é neces- 
sário aceitar que os avaliadores antigos influenciariam os novos, tese que 
se apoia nos estudos já realizados sobre o comportamento de pequenos 
grupos. 

Ao cabo de quatro anos, percebemos modificações consideráveis 
nas avaliações, refletindo, talvez, modificações contínuas nos cursos de 
pós-graduação. O coeficiente de determinação das avaliações de 1980 pelas 
de 1977 é de apenas + 26, ou seja, as avaliações de 1977 explicam apenas 
26?t da variância das avaliações de 1980. Os 74% restantes deverão ser ex- 
plicados por razões não captadas ou incluídas nas avaliações de 1977, in- 
clusive as modificações reais ocorridas posteriormente. 

Finalmente, poderia estar havendo uma elevação real na qualidade 
dos cursos. Esta explicação, no entanto, colide com as crescentes reclama- 
ções sobre a "prostituição" da pós-graduação. Não obstante, pode ser uma 
impressão falsa. Os dados sobre o número de doutores e livre-docentes 
sugerem uma elevação da quab'dade do corpo docente, assim como os crité- 
rios de aceitação e promoção dos alunos não sugerem um declínio na quali- 
dade do corpo discente. É possível que um corpo docente cada vez mais 
qualificado esteja produzindo alunos cada vez menos qualificados. A mes- 
ma dúvida paira sobre a qualidade dos títulos doutorais e livre-docentes: 
terá a elevação do número de títulos provocado uma redução na média da 
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qualidade? É claro que estas são conjecturas e, à falta de dados, permane- 
cem como tais. 

A ideia de que a elevação de qualidade tenha resultado da criação de 
cursos de alto nível tampouco encontra apoio. Os novos cursos geralmente 
têm deficiências que somente com o tempo são passíveis de serem sanadas 
e raramente recebem avaliações muito altas. 

As dificuldades com as interpretações anteriores acabam fortalecen- 
do a hipótese de que esteja ocorrendo um relaxamento dos critérios de 
avaliação, que estariam cada vez menos exigentes. Mas essa é uma interpre- 
tação que permanecerá conjectural até que dados independentes das avalia- 
ções demonstrem que a qualidade dos cursos não se eleva, ou se eleva me- 
nos do que as avaliações. 

A hipótese do relaxamento, porém, pode ser lida valorativamente 
com sinal contrário: as últimas avaliações seriam justas e as primeiras te- 
riam sido rigorosas em excesso. Assim interpretada, podemos supor que tal 
melhoria resulta em melhores conceitos para cursos pouco conhecidos. De 
fato, de ano a ano amplia-se o conhecimento sobre os cursos de pós-gra- 
duação, principalmente sobre os mais distantes dos grandes centros. Isso 
se explicaria, em parte, pelo aumento do número de visitas de consultores 
a esses cursos. A ser verdadeira essa hipótese, não há portanto relaxamento, 
mas o mero reconhecimento de mérito onde esse não havia sido correta- 
mente identificado. 



Notas 

1 Esse termo, pouco apropriado, denomina um dos mais importantes programas da 
CAPES, no qual são distribuídas quotas de bolsas, diretamente aos cursos. 

2 Ao criar o PICD. a CAPES buscou incentivar os professores das instituições menos 
desenvolvidas a cursarem programas no país. A criação de uma reserva de bolsas 
foi uma tentativa de romper um círculo vicioso que tenderia a perpetuar diferen- 
ças institucionais e regionais. 
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. gera coeficientes de 0,98, 0,96 e 0,92. As outras correlações da matriz são igual- 
mente elevadas. 

16 Ê interessante verificar a predominância, na pioduçá"o da PUC/RJ, das áreas duras, 
em contraste com o peso das áreas sociais na PUC/SP. 

17 
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Ver, neste volume, o Capítulo III - Terceira Parte. 

Dados do Boletim Estatístico MEC/SESu (novembro 1982). 
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Note-se que o ISI é muito restritivo, só incluindo as ciências "duras"; as áreas so- 
ciais e as engenharias, por exemplo, ficam de fora. 

Entre 1980 e 1982 o número de artigos nacionais cresceu de 4.810 para 5.947, 
isto é, em 24%. 
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